【iOSDC Japan 2024 レポート】DAY 0「動かして学ぶDockKit入門」を聞いてきた。

リルオッサ

2024.08.23

はじめに

年に一度のiOSエンジニアの為のお祭りiOSDC Japan 2024に参加しています。

せっかくなので、参加したセッションのレポートを書きたいと思います。

動かして学ぶDockKit入門

登壇者

Maeda Naoyaさん

概要

iPhoneのカメラは年々進化しており、さまざまな用途で使用されるようになってきています。例えば、近年ではiPhoneのカメラを使用して、映画やYouTube動画を撮影するクリエイターも登場しています。

このようにiPhoneのカメラがさまざまな用途で使われる中、DockKitフレームワークが発表されました。DockKitフレームワークのAPIを組み込んだビデオカメラアプリを、DockKit対応スタンドにセットすることで、人物を自動で追尾するようにDockKit対応スタンドを動かすことができます。

しかし、DockKitフレームワークはWWDC2023で発表されていたものの、DockKit対応スタンドが発売されたのはつい先日で、DockKit対応スタンドを使用して、開発者がどのような機能を利用できるのかについてはあまり知られていません。

このセッションでは、DockKitフレームワークの基本的な概要やAPIの説明から始め、DockKitフレームワークで開発者ができることを体系的に紹介します。セッション中はベルキンのAuto-Tracking Stand Pro with DockKitを使用したデモを交えて説明します。

引用: fortee

資料

見つけ次第、添付します。

感想

DockKitは2023年9月にリリースされたDockKitデバイスをコントロールするためのフレームワークです。

現在(2024年8月時点)はDockiKit対応デバイスは二つのみ。

BelkinさんのStage Auto-Tracking Stand Pro with DockKit

Insta360さんのInsta 360 Flow Pro

両デバイスとも人の体と頭を自動で検知して追従してくれるのですが、基本的なこの動作については何のコードを足さなくてもiOSのビデオ撮影機能であれば、デバイス側が勝手に追従してくれるとのことでした。なんと嬉しいことでしょうか、、
AVCaptureAPIとDockKitが連携している為、AVCaptureAPIを使用して実装すれば、DockKit対応デバイスが自動でフレームを取得して追従してくれるそうです。

デフォルトでは、顔と体の追従ですが、カスタムでトラッキング対応を変えることができるとのことで、デモでは人差し指を追従する動作を見せていただけました。お家のペット見守りにも使えそうな気がしますね。

またカメラ追従だけでなく、ジンバルに搭載されているボタンのコントロールや被写体の識別した情報もiOS 18からのDockKit APIなら活用できるとのことで、アイデアで色々なことに活用できそうですね！

デモを多く入れてくれていたトークだったので、実際にDockKit対応デバイスがどのように動くかとても分かりやすかったです。

また、トーク中に触れてはいなかったですが、Apple WatchでDockKit対応アプリを操作する一面もあり、Apple Watch x DockKitでアプリの機能の幅が広がりそうな気がしました。

Zennの記事もあったので、事前準備はこちらを見るとどれだけ簡単かは伝わりそうです。